package TestRDDConnectionsAndSparkReadsAndWritesFiles.ReadsAndWritesFiles;

import com.google.gson.Gson;
import com.google.gson.GsonBuilder;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;

import java.util.List;

public class Read {
    public static void main(String[] args) {
        /**
         * 普通的文本文件，
         * 都可以用sparkContext.textFile(...)来读取，
         * 该方法返回一个普通的RDD对象，该对象的数据元素的类型都是字符串类型。
         */

        SparkConf sparkConf = new SparkConf().setAppName("Read").setMaster("local");
        JavaSparkContext sc = new JavaSparkContext(sparkConf);


        JavaRDD<String> rdd1 = sc.textFile("./data/can_data.json");

        List<String> collect = rdd1.collect();

        System.out.println(collect);

    }
}
